package com.weic.spark.scala.hw

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Auther:BigData-weic
 * @ClassName:_01WordCount
 * @Date:2020/12/14 19:30
 * @功能描述: 单词个数统计
 * @Version:1.0
 */
object _01WordCount {

	def main(args: Array[String]): Unit = {
		val conf = new SparkConf()
    		.setAppName("_01WordCount")
    		.setMaster("local[*]")
		val sc = new SparkContext(conf)
		/**
		 * 1。当前文件a.text的格式为，请统计每个字符出现的个数，
		 * 以及第四列每个元素出现的个数
		 * a,b,c,d
		 * b,b,f,e
		 * a,a,c,f
		 */
		//读取文件
		val lines:RDD[String] = sc.textFile("file:\\F:\\datas\\work12_14\\a.text")
		//统计字符个数
		val sp = lines.flatMap(_.split(",")).map((_,1)).reduceByKey(_+_)
		println("每个字符出现的个数")
		sp.foreach(println)
		println("第四列元素出现的个数：")
		val si= lines.flatMap(_.split(",")(3)).map((_,1)).reduceByKey(_+_)
		println("每个字符出现的个数")
		si.foreach(println)
		//释放资源
		sc.stop()
	}
}
